Đảng Cộng Sản Nhật Bản thành lập ngày 15 tháng 7 năm 1922. Các lãnh đạo đầu tiên chủ yếu lấy từ các phong trào xã hội Cơ Đốc Giáo và công hội vô chính phủ dâng lên quanh giao điểm thế kỷ; Yamakawa Hitoshi, Sakai Toshihiko và Arahata Kanson đều từ phái xã hội Cơ Đốc Giáo và có Kōtoku Shūsui là nhà vô chính phủ bị hành quyết năm 1911 ủng hộ. Katayama Sen lãnh đạo khác cũng là nhà chủ nghĩa xã hội Cơ Đốc Giáo trong suốt đời sống chính trị. Các tư tưởng phi Mác ảnh hưởng ngay đảng, làm cho dễ thu nhận chủ nghĩa Stalin, dân tộc và các khuynh hướng chính trị phi Mác sau. Hitoshi, Toshihiko lẫn Kanson đều ngần ngại thành lập đảng, sớm sau Yamakawa cho rằng Nhật chưa sẵn sàng cho đảng cộng sản và kêu gọi hoạt động chỉ trong các công đoàn; sự hiểu biết lý thuyết chủ nghĩa Mác của ông cũng thấp.[16]

Đảng Cộng Sản Nhật Bản đã thành lập một cách bí mật, do Luật Duy Trì Trị An cấm chỉ mà bị quân đội cùng cảnh sát Đế Quốc Nhật Bản đàn áp và hành hạ. Trong thời kỳ chiếm đóng đảng được hợp pháp hóa năm 1945 , sau luôn là chính đảng hợp pháp tranh cử được trong các cuộc bầu cử. Năm 1949 đảng được thắng lợi vô tiền khi giành được 10% số phiếu và 35 đại biểu Quốc Hội, nhưng đầu năm 1950 bị Liên Xô chỉ trích mạnh vì sách lược tham nghị; Stalin yêu cầu đảng tiến hành các hoạt động hiếu chiến thậm chí bạo lực hơn, Tư Lệnh Tối Cao Minh Quân thừa dịp làm cuộc Thanh Trừ Đỏ buộc các lãnh đạo đảng phải đi bí mật. Sau Chiến Tranh Triều Tiên nổ ra, đảng thi hành các hành vi khủng bố, phá hoại, dẫn đến mất niềm tin đại chúng. Thập niên kết thúc đảng không bao giờ thắng hơn 3% số phiếu là hai ghế Quốc Hội, tuy nhiên vẫn được các phần tử tri thức ủng hộ nên được tương đối quan trọng hơn.

Đảng giữ trung lập trong cuộc chia rẽ Trung-Xô. Giữa thập niên 60 Bộ Ngoại Giao Hoa Kỳ ước tính số lượng đảng viên xấp xỉ là 120,000 (0.2% dân số tuổi làm việc),[17] lập trường chính trị độc lập với Liên Xô; ví dụ Kenji Miyamoto là lãnh đạo từ năm 1958 đến 1982 phản đối cuộc xâm lược Tiệp Khắc năm 1968.

Năm 1996 Lam Peng Er trong tạp chí Pacific Affairs cho rằng "khả năng tồn tại của JCP là cốt yếu cho sức khỏe nền dân chủ Nhật" vì:

Đây là chính đảng duy nhất trong quốc hội chưa bị các đảng bảo thủ thao túng hợp tác, có vai trò giám sát đảng cầm quyền mà không lo sợ hay thiên vị. Quan trọng hơn là đảng thường tiến cử ứng viên đối lập duy nhất trong các cuộc bầu cử huyện trưởng, thị trưởng và tuyển cử địa phương khác; tuy có các bất đồng bề ngoài ở cấp toàn quốc, nhưng các đảng phi cộng sản thường ủng hộ ứng viên huyện trưởng thị trưởng chung để được bảo đảm có chân cầm quyền. Nếu JCP không đề xuất thì sẽ có thắng áp đảo và dân bầu Nhật phải chấp nhận sự đã thành mà không có phương tiện bầu cử để phản đối. Đặc điểm khác là ủng hộ các nữ ứng viên để được nữ phiếu: phụ nữ theo Cộng Sản đắc cử nhiều hơn so với bất kỳ chính đảng nào khác ở Nhật.[18]

Năm 2018 giới truyền thông nước ngoài ghi nhận tăng ủng hộ do hậu quả của cuộc khủng hoảng tài chính toàn cầu với công nhân Nhật,[19][20] nhưng đảng không tăng được số ghế trong cuộc bầu cử Chúng Nghị Viện năm 2009. Sau sự suy giảm dự tính của đảng ngăn được, trở thành lớn thứ ba trong Nghị Hội Đô Tokyo[21][22] và tăng từ sáu lên 11 ghế trong Tham Nghị Viện. Trong cuộc bầu cử năm 2014 JCP dâng trào, được 7,040,130 phiếu tuyển khu (13.3%) và 6,062,962 phiếu danh đơn (11.37%).

Trong thời kỳ tiến cử cho cuộc bầu cử Tham Nghị Viện tháng 7 năm 2016, JCP ký giao kèo với Đảng Dân Tiến, Dân Chủ Xã Hội và Tự Do, tiến cử các ứng viên chung trong 32 khu chỉ tranh cử cho một ghế mà cố giành quyền kiểm soát thượng viện từ Đảng Dân Chủ Tự Do/Đảng Công Minh.[23] Lãnh đạo Đảng Cộng Sản Nhật Bản đã tỏ rõ sẵn sàng làm liên minh với Đảng Dân Tiến, nhưng Chủ Tịch Katsuya Okada khước từ, gọi là "không thể" trong tương lai gần do "vài chính sách cực tả" của JCP.[24] Đảng có ba Tham Nghị Viên đi tái tuyển và tiến cử tổng cộng 56 ứng viên, thấp hơn 63 trong cuộc bầu cử năm 2013 nhưng vẫn đứng thứ hai sau Đảng Dân Chủ Tự Do.[25] Tuy nhiên chỉ 14 ứng viên tranh cử trong các khu đơn và đa thành viên, 42 còn lại nằm trong khối đại diện tỷ lệ toàn quốc 48 ghế.[25]